Swifties đã vấp phải chỉ trích vì một số hành vi nhất định. Nhiều nhà báo đã lên án một số hành động ngoài đời mà Swifties dành cho Swift gồm có xâm phạm đời tư thần tượng quá mức.[175][176] Người hâm mộ cũng hay bao vây tại nhiều địa điểm công cộng nơi thần tượng xuất hiện.[177] Chính Swift đã lên tiếng về vấn đề thiếu sự riêng tư nhiều lần. Trong bộ phim tài liệu Miss Americana, lúc Swift rời khỏi căn hộ Tribeca đầy fan và phóng viên bao vây ngoài cửa thì cô bảo cô "cực kỳ hiểu được sự thật rằng điều đó là không bình thường chút nào."[178] Một số Swifties cũng bị lên tiếng nhờ vào những hành vi tấn công, quấy rối, đưa những lời dọa giết và doxing những ngôi sao, nhà báo hay người dùng Internet bắt nguồn từ nhiều lý do, chủ yếu là do những người vừa kể buông lời không hay về Swift.[179][180][181] Sau cuộc tranh chấp quyền sở hữu tác phẩm, Braun tuyên bố rằng anh đã nhận được những lời dọa giết từ Swifties.[182] Vice gọi fandom là một "cộng đồng tuy chào đón bình đẳng nhưng vẫn là một cộng đồng khép kín và bị giam giữ vào nỗi đau của văn hóa người nổi tiếng vừa phi thực tế vừa ám ảnh".[183]

Gaylor

Gaylor là một thuyết âm mưu cho rằng Swift là một người đồng tính kín. Một nhóm nhỏ Swifties tự gọi mình là "Gaylor" đã ủng hộ và quảng bá tin đồn này khi bảo rằng Swift đang thả "dấu hiệu" cho thấy cô thuộc giới tính thứ ba thông qua âm nhạc, lối sống. Trong khi đó, nữ ca sĩ lên tiếng bảo rằng cô không phải là người thuộc cộng đồng LGBT mà cô là đồng minh của LGBT. Các Gaylor đặc biệt tập trung đẩy thuyền Swift với Karlie Kloss, Dianna Agron hoặc cả hai người, cho rằng Swift đã từng hẹn hò với họ trong quá khứ và chỉ trích nữ ca sĩ thần tượng vì queerbaiting nếu như cô lên tiếng mình không đồng tính. Đa số Swifties cũng chỉ trích thuyết âm mưu Gaylor vì quá lố, độc hại và thiếu tôn trọng Swift. Các nhà báo cũng bác bỏ vì thuyết âm mưu đã xâm phạm đời tư người khác và vô căn cứ.[184][185][186] Các Gaylor đã lên tiếng rằng thông qua một số bài hát của Swift thì họ đã xác nhận nữ ca sĩ yêu phụ nữ và có quan hệ tình cảm với các nữ diễn viên Emma Stone và Cara Delevigne. Họ khẳng định rằng bài hát năm 2023 của Swift "When Emma Falls in Love" là lời thú nhận tình cảm giữa cô với Stone mặc dù Swift và Stone chỉ gọi nhau là bạn thân trên các phương tiện truyền thông. Tuy nhiên, phần lớn Swifties đã thực sự xem cuộc tình trong quá khứ giữa Stone và diễn viên Andrew Garfield mới chính là nguồn cảm hứng cho bài hát.[187] Trong phần mở đầu của album 1989 (Taylor's Version), Swift khẳng định rằng tình bạn với các đồng nghiệp nữ của cô đã bị tình dục hóa theo cách tương tự như truyền thông lá cải đồn đoán đưa tin rộng rãi giữa Swift với đồng nghiệp nam.[188][189] Một bài báo mang tựa đề "Look What We Make Taylor Swift Do" vào tháng 1 năm 2024 trên The New York Times do Anna Marks biên tập đã suy đoán Swift là một người đồng tính kín hoàn toàn dựa trên cách nhìn nhận lời bài hát và gu thẩm mỹ của Swift của Marks. Bài báo này đã vấp phải những chỉ trích từ Swifties và những độc giả khác. CNN Business đưa tin rằng những người quản lý của Swift cảm thấy bài báo "xâm phạm đời tư, không đúng sự thật và không phù hợp".[190] Các Gaylor thậm chí còn cho rằng Swifties bày tỏ kỳ thị đồng tính với họ.[191]